Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
在LLM强化学习中通过永不放弃采样解决难题
🧭 RL for LLMs 动态采样训练优化 ★ 深度解读
Mila, Université de Montréal · Allen Institute for AI · University of Washington · Trillium Labs
揭示RL训练LLM的“马太效应”，提出NGU动态采样将计算从易题重分配到难题，显著提升困难任务pass@1
📌 工作参考价值（4 点）
- 在 RLHF/GRPO 训练推荐、对话或 Agent 策略时，若 prompt/任务难度差异大，可借鉴 NGU：用异步 RL 对简单 prompt 快速过滤，对困难 prompt 持续采样直到出现正样本；但需设置继续采样概率 p 并限制历史 completion 的 age，避免 off-policy 噪声。
- 对于需要同时满足多个约束的电商导购 Agent 或广告文案生成，标准 per-aspect reward 会导致模型只优化容易满足的约束。可先按模型初期 pass rate 重分难度，再对难样本动态加采样，提升所有约束全部通过率。
- 工程上，NGU 的 anchor positives 比直接 downsampling 稳定：保留所有正样本，对负样本按比例 rescale advantage 保持组内优势之和为零；推荐优先使用。
- 离线评估要按难度分桶（如按用户分群、query 难度）分别报告提升，避免整体指标掩盖马太效应；同样适用于推荐系统的长尾 item/query 优化。